Lực lượng Niệm quân được hình thành trong những năm cuối đời Đạo Quang tại miền bắc, hoạt động theo từng nhóm gọi là niệm. Trong lúc đầu của Thái Bình Thiên Quốc, Niệm quân – quân khởi nghĩa nông dân đã hoạt động tại Giang Tô, An Huy, Sơn Đông, Hà Nam trở thành quân đồng minh của quân Thái Bình ở miền bắc.

Năm 1851, sông Hoàng Hà đổi dòng lần cuối làm cho hàng vạn người mất nhà cửa, tàn phá nền kinh tế miền bắc, những tỉnh giàu có nhất bị ảnh hưởng, nhà Thanh không thể cứu trợ hữu hiệu nên nhiều người không chốn nương thân, liền gia nhập lực lượng Niệm quân bao gồm nông dân, binh sĩ, thương nhân buôn muối. Lực lượng Niệm quân có khoảng 4 vạn người do Trương Nhạc Hành, một thương nhân buôn muối chỉ huy khởi nghĩa vào tháng 11 năm 1852 tại Hào Châu. Năm 1855, các thủ lĩnh Niệm quân cử hành đại hội tại Trĩ Hà Tập (bắc An Huy), bầu Trương Nhạc Hành làm minh chủ, thống nhất lãnh đạo trong Niệm quân. Đến thời kỳ giữa Thái Bình Thiên Quốc, Niệm quân và quân Thái Bình đã bắt liên lạc với nhau, Niệm quân tiếp nhận sự lãnh đạo của Thái Bình Thiên Quốc, Thái Bình Thiên Quốc phong cho Trương Nhạc Hành tước Ngô Vương. Kỵ binh Niệm quân nhiều lần cắt đứt đường giao thông liên lạc của quân Thanh tại miền Bắc, làm chủ nhiều vùng tại Giang Tô và Hồ Nam.

Năm 1856 nhà Thanh phái dũng tướng Tăng Cách Lâm Thấm đến trấn áp Niệm quân, cho xây nhiều đồn lũy, tấn công mạnh vào kỵ binh Niệm quân. Năm 1859, hơn 20 vạn Niệm quân bị quân Thanh do tướng Thắng Bảo chỉ huy đánh bại ở bắc An Huy, năm 1863, thủ lĩnh Trương Nhạc Hành bị bắt, người cháu là Trương Tông Vũ lên thay.

Năm 1864, ông được phong Nhất đẳng Khác Tĩnh bá (一等恪靖伯).

Sau khi Thiên Kinh thất thủ, một số quân Thái Bình đã liên kết với Niệm quân tạo nên thế lực rất mạnh. Niệm quân chỉ dùng vũ khí thô sơ như mã tấu, xà mâu, cưỡi ngựa rất tài, tác chiến dũng cảm. Tháng 5 năm 1865, Niệm quân đã bao vây đại doanh của thống soái quân Thanh Tăng Cách Lâm Thấm ở Hà Trạch (Sơn Đông). Quân Thanh hết lương, Tăng Cách Lâm Thấm phải dẫn kỵ binh phá vòng vây trong đêm tối, bị Niệm quân phục kích giết chết, thu được 5000 chiến mã. Lúc đó thanh thế Niệm quân rất lớn, chấn động khắp nước. Nhà Thanh lo sợ Niệm quân đánh vào Bắc Kinh nên phái Tăng Quốc Phiên điều Tương quân và Hoài quân đến trấn áp.

Tăng Quốc Phiên nghiên cứu Niệm quân đã dùng chiến thuật lưu động chống lại quân triều đình như sau: "... Họ có khả năng chiến đấu nhưng không bao giờ đụng trận một cách khinh suất. Họ chờ cho ta di chuyển rồi tấn công khi ta đang đi. Đây chính là chiến lược của quân Thái Bình trong giai đoạn đầu mới nổi lên. Thứ tư, họ hành đông nhanh như bão táp. Có khi họ đi nghìn dặm trong vài ba ngày mà không ngừng, khi khác họ vòng vòng bao vây một đội quân nhỏ".

Ông viết: "Nếu ta chạy vòng vòng một lúc quân triều đình đuổi theo sẽ kiệt lực. Tăng vương (Tăng Cách Lâm Tấm) thua trận chính là vì quân Niệm dùng chiến thuật này. Quân Niệm có ba nhược điểm. Thứ nhất, chúng không có hỏa khí và vì thế không đánh được những đồn bót kiên cố. Thành thử nếu quân triều đình giữ được thành và dân binh giữ được các làng xã thì quân Niệm không làm gì được và cũng chẳng cướp được đồ ăn. Thứ hai, chúng không đóng quân mà vào trong nhà các nông trại để ở ban đêm. Cho nên dễ bị tấn kích. Thứ ba, chúng luôn luôn mang theo hành lý, vợ con, xe cộ, gia súc theo khi hành quân. Nếu quân triều đình lấy được hành lý đồ đạc là họ tổn thất lớn."

Sau đó Tả Tông Đường và Lý Hồng Chương được cử thay cho Tăng Quốc Phiên về làm Lưỡng Giang Tổng đốc. Lý và Tả cho xây lô cốt, tổ chức cho địa chủ vũ trang. Trong vòng mấy tháng, Đông Niệm quân từ Hà Nam tiến vào Hồ Bắc, đánh thắng nhiều trận, thu được nhiều súng đạn và chiến mã, quân số phát triển lên đến 10 vạn. Nhưng vì không có lập căn cứ địa, quân sĩ không được nghỉ ngơi nên lực lượng dần sút kém, phải rút về Sơn Đông. Lực lượng Hoài quân do Lưu Minh Truyền (về sau làm Tuần phủ Đài Loan) chỉ huy liên kết với Thường Thắng quân tấn công Đông Niệm quân gần Yên Đài. Mùa xuân năm 1868, Đông Niệm quân thất thủ tại Dương Châu, thủ lĩnh Lại Văn Quang bị bắt và hi sinh anh dũng.Tây Niệm quân từ Hà Nam tiến vào Thiểm Tây, Sơn Tây, triều đình cử Tả Tông Đường làm Khâm sai đại thần Đốc biện Thiểm Cam quân vụ đến trấn áp. Niệm quân đánh vào Trực Lệ[4], uy hiếp Thiên Tân. Nhà Thanh cấu kết với liên quân Anh - Pháp tấn công Tây Niệm quân, 17.000 Tây Niệm quân phải rút đến bờ sông Đồ Hải (Sơn Đông) thì gặp nước lụt, không qua sông được nên toàn bộ tử trận. Cuộc khởi nghĩa tuy thất bại nhưng ảnh hưởng của nó khá lớn, về lâu dài là một trong những nguyên nhân dẫn đến sự sụp đổ của nhà Thanh 40 năm sau.